m23-autoTest ist das neue Framework zum automatisierten Testen von m23. Mit diesem konnten erstmals – in zahllosen Testdurchläufen – Kombinationen von m23-Servern auf verschiedenen Plattformen (Debian 9 (32- und 64-Bit), UCS 4.3, UCS 4.4, m23-Installations-ISO) mit m23-Clients aller unterstützten Clientdistributionen systematisch untersucht werden. So konnten auch Fehler gefunden werden, die nur sehr sporadisch auftreten.
m23-autoTest simuliert hierbei das Verhalten eines menschlichen Administrators durch Fernsteuerung (Selenium) der m23-Weboberfläche. So geschieht z.B. das Anlegen von m23-Clients, das Partitionieren und Formatieren oder das Installieren von Distributionen mit grafischen Oberflächen über das automatische Ausfüllen der Formulare in den dazugehörigen Dialogen.
Ein Testdurchlauf beinhaltet die Installation eines m23-Servers und (aktuell) 18 durch diesen installierten m23-Clients. Pro Distribution werden zwei Clients als 32- und 64-Bit-Variante mit zufällig ausgewählten Desktops und abwechselnd mit deutschen, englischen und französischen Spracheinstellungen installiert.
Alle Test werden – für eine schnelle Durchführung und Wiederholbarkeit – in virtuellen Maschinen vorgenommen. Über diverse Meßpunkte (z.B. Meldungen auf dem Bildschirm der VM, die durch Texterkennung identifiziert werden, Nachrichten in der m23-Oberfläche oder Rückgabewerte von in der VM ausgeführten Kommandos) wird laufend der Installationstatus überprüft und bewertet. Diese Informationen ermöglichen es m23-autoTest, auf Ereignisse z.B. mit simulierten Tastendrücken oder Aktionen in der m23-Weboberfläche zu reagieren. Im Falle von kritischen Fehlern (z.B. nichtlaufende Serverdienste) kann m23-autoTest den Testlauf auch ganz abbrechen. Für die anschließende Analyse wird der Bildschirm der VM in einer Videodatei aufgezeichnet, sowie ein Installationsprotokoll geschrieben, welches im Debug-Modus viele zusätzliche Informationen enthält.
Auch wenn der Funktionsumfang auf die Belange von m23 ausgerichtet ist, könnte es dennoch für andere Projekte nützlich sein.
Hier sehen Sie eine m23-autotest-Kurzpräsentation (Überblick, Komponenten, XML-Testbeschreibungen) und die Mitschnitte von automatisierten Installationen eines m23-Servers und eines m23-Clients.
Sollte das Video in Ihrem Browser nicht abgespielt werden können, so finden Sie es auf YouTube unter https://www.youtube.com/watch?v=fei9unQlJEc.
Alternativ können Sie das Video auch herunterladen oder in einem externen Medienabspielprogramm wie z.B. VLC oder MPlayer betrachten: WebM/VP9 in der Auflösung 1080p.
Die m23-autoTest-Dokumentation beschreibt die Installation und Konfiguration der Testumgebung und der einzelnen Komponenten sowie die Benutzung des steuernden Kommandozeilenprogrammes autoTest.php
.
Die aktuelle Dokumentaion erhalten Sie unter: